- 博客(7)
- 收藏
- 关注
RSS订阅原创 基于langchain 迭代式进行文本总结
我们前文有设计多用mapreduce 类似分布式的方式来处理长文本，我们是通过文本切割后，针对每一块进行map 汇总的方式，然后再基于汇总后的内容汇聚后再汇总。我们可以在尝试另外一种思路，就是从头到尾依次进行总结，就和我们自己读书一样，今天读第一页，理解下，—>带着理解去读第二页，---->带着一二页的内容去读第三页，------>就这么读下去直到理解全书。Document(page_content=“我对ai也很了解，ai能解决非常多的问题”),2： 初始化，第一页的理解，这是我们往后读的基础。
2025-06-26 11:05:06
1454
原创 基于langchain的一种上下文管理策略
当前记忆内容: [SystemMessage(content=‘你是一名技术顾问，擅长解决软件工程和架构问题，专注于提取关键信息进行高效分析’, additional_kwargs={}, response_metadata={}), HumanMessage(content=‘我叫李四，是一名Python全栈工程师，主要用Django和Vue’, additional_kwargs={}, response_metadata={}), AIMessage(content=‘你好，李四！
2025-06-25 16:27:52
642
原创 基于qdrant 实现结构化数据rag检索
ScoredPoint(id=‘abbd6bf4-a58a-4cac-b92d-df4ef9c55f7d’, version=26, score=0.7769731, payload={‘指数名称’: ‘中证1000’, ‘日期’: ‘2025-03-13’, ‘收盘价’: 5820}, vector=None, shard_key=None, order_value=None),缺点：数据量大对向量库是个挑战，针对计算类很弱，除非大模型很强，但理论大模型毕竟不是计算器，计算类出错概率高。
2025-06-24 14:27:51
1837
原创 基于langchain实现长文本的总结处理方案
为了保证切割的非独立性，合理调整 chunk_size 和 chunk_overlap，chunk_size是每一块的最大长度，chunk_overlap是相邻快的交集长度。块5摘要: 该领域的成立基于一个假设，即人类智慧可以精确描述，从而使机器能够模拟这类智慧，这引发了关于心智的哲学争论。块4摘要: 随着机器能力的提升，原本被视为需要“智能”的任务逐渐从人工智能的定义中排除，这一现象被称为AI效应。随着机器能力的提升，原本被视为需要“智能”的任务逐渐从人工智能的定义中排除，这一现象被称为AI效应。
2025-06-24 13:49:00
783
原创 简述 text-cnn
简述text-cnntext-cnn的基本原理从向量来理解text-cnn的基本原理从向量来理解text-cnn 从原来上来说，属于n-gram模型，比如一句话 我今天开心。我们假设 词向量维度为 20。 所以这句话可以表示为 [1,5,20] batch,seq_len,embedding_dim.我们可以flatten 以下 转换成 [1,100] 然后再通过一个 nn.linear(100,2) 可以转换成 [1,2] 做一个简单的两分类情感分类。那么这么做有什么问题，那可能如果写成 我开
2021-03-31 16:44:31
497
原创 seq-seq编解码网络
简述 seq-seq编解码网络编解码网络从看图说话简述编解码网络框架编解码网络从看图说话简述编解码网络一个苹果放在我们眼前，苹果对于小孩来说就是输入，那么人类如何认知呢，这个苹果的大小，颜色，以及人是怎么理解这个苹果，到目前为止，人类对苹果这个图像进行编码，提取了对苹果的认知。老师问，你对这个苹果怎么看，这个时候，小孩要做的就是针对刚才对苹果的认知，讲一讲自己对苹果的理解，这个过程就是一个解码的过程。编码和解码通常存在的领域是不通的领域。比如翻译模型，中文翻译英文。看到 我开心，这个词 首先进行编码
2021-03-31 16:08:39
563
原创 NLP 中 Bilstm-attentio的使用
NLP 中 Bilstm-attentio的使用bilstm-attention 理解bilstm-attention的作用bilstm-attention 编码实现`bilstm-attention 理解bilstm-attention的作用1：输入空间和输出空间的理解在NLP的任务框架中，最基本的流程是 初步编码（比如one-hot vector,或者预训练词向量）作为输入，比如一句话进来 我开心，如果使用在分类模型中，我们就需要融合 我开心 这三个字，我们将这三个字 映射成向量，比如
2021-03-31 13:24:40
2422
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人