- 博客(116)
- 收藏
- 关注
RSS订阅原创 《Long Context Compression with Activation Beacon》笔记
Activation Beacon出自论文《Long Context Compression with Activation Beacon》(v1版的题目：Soaring from 4K to 400K: Extending LLM’s Context with Activation Beacon）。它引入了Beacon token将上下文信息蒸馏到其激活(activations)。
2025-01-21 20:21:36
900
原创 MemoRAG
Memorag出自2024年9月的论文《Memorag: Moving towards next-gen rag via memory-inspired knowledge discovery》，它提出了长期记忆的概念，让一个轻量、长上下文窗口的LLM对数据集进行记忆后，针对用户的查询任务生成线索和回答草稿，再用这些信息去检索出相关数据库中与问题相关的信息，最后让一个更强大的LLM根据指令和检索出的信息生成最终的回答。
2024-12-28 11:52:41
872
原创 梯度累积gradient accumulation
梯度累积(gradient accumulation)是在训练模型时使训练的batch size大于机器的内存能够容纳的最大batch size时采用的一种方法。其实现是在多个更小的batch里去累加模型的梯度，只有达到想要的batch size后再用优化器更新模型的参数。
2024-12-28 11:46:19
661
原创 图社区发现算法--Leiden算法
Leiden算法出自2019年的论文《From Louvain to Leiden: guaranteeing well-connected communities》，它是Louvain算法的改进社区发现算法，相比Louvain得到的社区质量更高，因为其移动策略速度也更快。Leiden算法也是以论文作者所在城市来命名的。
2024-12-09 20:02:36
2154
原创 基于图和个性化PageRank的RAG方法HippoRAG
HippoRAG是2024年5月的一篇论文《HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models》，它受人脑长期记忆的启发(Hippo是海马体英文单词的前缀)，用知识图谱(KG)来存储知识，并用检索编码器和个性化PageRank来检索回答问题所需的上下文，再让LLM根据上下文回答问题。
2024-12-05 20:35:13
1209
原创 图社区发现算法-Louvain算法
Louvain社区发现算法出自2008年的论文《Fast unfolding of communities in large networks》，其名字是根据作者所在的城市来命名的。它基于模块度优化来实现社区划分，分两阶段来进行社区发现。
2024-12-04 20:54:26
1726
原创 轻量的基于图结构的RAG方案LightRAG
LightRAG出自2024年10月的论文《LIGHTRAG: SIMPLE AND FASTRETRIEVAL-AUGMENTED GENERATION》，也是利用图结构来增强RAG的能力，像是GraphRAG的简化版。它利用图结构来存储和检索文本数据，对于实体和关系不仅使用图存储，同时使用向量存储。检索时先用向量进行实体或关系召回，再借助图结构找到对应的chunk文本。
2024-12-03 20:48:52
1349
原创 基于社区发现的GraphRAG思路
GraphRAG出自2024年4月的论文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》，其代码也在2024年年中开源。它在用图结构来完成RAG时，使用社区这个概念并基于社区摘要来回答一些概括性的问题。
2024-12-03 20:43:55
1273
原创 RAG经验论文《FACTS About Building Retrieval Augmented Generation-based Chatbots》笔记
《FACTS About Building Retrieval Augmented Generation-based Chatbots》是2024年7月英伟达的团队发表的基于RAG的聊天机器人构建的文章。FACTS是论文定义的RAG-based chatbots的五个维度：freshness (F), architectures(A), cost economics of LLMs ©, testing (T), security (S)的缩写。
2024-11-16 21:21:32
795
原创 基于的图的异常检测算法OddBall
OddBall异常检测算法出自2010年的论文《OddBall: Spotting Anomalies in Weighted Graphs》，它是一个在加权图(weighted graph)上检测异常点的算法，基本思路为计算每一个点的一度邻域特征，然后在整个图上用这些特征拟合出一个函数，再根据拟合出来的参数计算每个点的异常分数，所以它可以用于无监督场景。
2024-11-16 16:23:58
1397
2
原创 经典异常检测算法LOF
异常检测算法LOF(local outlier factor)出自2000年的SIGMOD论文《LOF: Identifying Density-Based Local Outliers》，它包括k-近邻距离、可达距离、局部可达密度、局部异常因子等概念。
2024-11-16 16:12:26
893
原创 向量模型Jina Embedding: 从v1到v3论文笔记
向量模型Jina Embedding: 从v1到v3论文笔记。《Jina Embeddings: A Novel Set of High-Performance Sentence Embedding Models》《[Jina Embeddings 2: 8192-Token General-Purpose Text Embeddings for Long Documents]》《jina-embeddings-v3: Multilingual Embeddings With Task LoRA》
2024-11-02 20:59:29
1748
1
原创 基于LLM的任务型对话系统：论文《Task-Oriented Dialogue with In-Context Learning》思路
《Task-Oriented Dialogue with In-Context Learning》是Rasa团队在2024年2月发布的论文，是其Rasa pro功能CALM(Conversational AI with Language)对应的论文，它描述了用LLM的in-context learning能力与确定的业务逻辑一起来实现一个任务型对话系统
2024-10-23 20:41:06
1531
原创 论文《Text2SQL is Not Enough: Unifying AI and Databases with TAG》
论文《Text2SQL is Not Enough: Unifying AI and Databases with TAG》笔记
2024-10-17 20:47:44
626
1
原创 text2sql: multi-agent实现思路MAC-SQL
MAC-SQL出自2023年12月的论文《MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL》它是用基于LLM的multi-agent]来实现text2sql，其由Decomposer、Selector、Refiner三个agent组成。
2024-10-13 22:33:14
1454
原创 text2sql方法：基于ChatGPT的zero-shot方法C3
text2sql论文《[C3: Zero-shot Text-to-SQL with ChatGPT](https://arxiv.org/abs/2307.07306)》和《[A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability](https://arxiv.org/abs/2303.13547)》思路
2024-09-30 22:29:42
1225
原创 对话理解综述《A Survey on Spoken Language Understanding - Recent Advances and New Frontiers》
对话理解综述《A Survey on Spoken Language Understanding - Recent Advances and New Frontiers》笔记
2024-09-29 20:17:55
1019
原创 text2sql(NL2Sql)综述《The Dawn of Natural Language to SQL: Are We Fully Ready?》
text2sql(NL2Sql)综述《The Dawn of Natural Language to SQL: Are We Fully Ready?》详细笔记
2024-09-15 22:09:27
2345
1
原创 文本分类场景下微调BERT
论文《How to Fine-Tune BERT for Text Classification?》是2019年发表的一篇论文。这篇文章做了一些实验来分析了如何在文本分类场景下微调BERT，是网上讨论如何微调BERT时经常提到的论文。
2024-09-07 18:40:00
1266
原创 LLM agentic模式之multi-agent: ChatDev,MetaGPT, AutoGen思路
LLM agentic模式之multi-agent: ChatDev,MetaGPT, AutoGen思路
2024-09-03 22:54:16
2272
原创 LLM agentic模式之规划能力(planning)
2024年2月的综述《Understanding the planning of LLM agents: A survey》提供了基于LLM的的agent的规划(planning)能力的系统视角，总结了近年来提高规划能力的工作。
2024-08-24 22:52:35
1680
原创 LLM agentic模式之工具使用: Toolformer、CoA、MM-React思路
LLM agentic模式之工具使用: Toolformer、CoA、MM-React思路
2024-08-17 22:45:58
902
4
原创 RAG 查询改写方法：HyDE、LLM4CS、Query2doc、rewrite-retrieve-read、Iter-RetGen、STEP-BACK Prompting
RAG 查询改写方法：HyDE、LLM4CS、Query2doc、rewrite-retrieve-read、Iter-RetGen、STEP-BACK Prompting思路介绍
2024-07-21 11:24:14
3087
原创 LLM推理优化笔记1：KV cache、Grouped-query attention等
LLM推理优化之KV cache、multi-query attention、Grouped-query attention、sliding window attention
2024-07-13 23:03:12
1367
原创 LLM agentic模式之reflection：SELF-REFINE、Reflexion、CRITIC
LLM agentic论文《Self-Refine: Iterative Refinement with Self-Feedback》《Reflexion: Language Agents with Verbal Reinforcement Learning》《CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing》
2024-06-23 17:14:48
3662
原创 图神经网络pytorch_geometric库之MessagePassing类
MessagePassing是图神经网络Python库pytorch_geometric(PyG)库里非常重要的一个基类，它可以用来创建消息传递图神经网络，pytorch_geometric里很多类比如图卷积层GCNConv和图注意力层GATConv都基于此类实现，我们也可以基于它来自定义图神经网络。
2024-06-14 21:24:22
1236
原创 大模型对齐方法笔记四：针对领域问答来进行知识对齐方法KnowPAT
针对领域问答来进行知识对齐方法KnowPAT，KnowPAT(Knowledgeable Preference AlignmenT) 出自2023年11月的论文《Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering》
2024-05-31 08:27:52
1398
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人