- 博客(97)
- 收藏
- 关注
RSS订阅原创 使用Neo4j存储聊天消息历史
在现代应用中，处理高度关联的数据是一个常见的挑战。Neo4j作为一个开源图数据库管理系统，以其高效管理关系数据的能力而闻名于世。不同于传统的关系型数据库使用表格来存储数据，Neo4j采用图结构，包括节点、边和属性，这种设计使得在复杂数据关系上进行高性能查询成为可能。
2025-01-24 05:27:29
239
原创 使用 RedisStore 实现高效的 Redis 键值存储
Redis 是一种开源的内存数据结构存储，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串、哈希、列表、集合和有序集合等。RedisStore是使用 Redis 的一种实现，通过它可以将数据存储在 Redis 实例中，带来快速访问速度和高效的数据管理。
2025-01-24 03:35:11
151
原创 使用Iugu API加载数据并集成到LangChain中进行向量化处理
Iugu提供一整套用于支付处理的API，这些API广泛应用于电子商务网站和移动应用程序。利用Iugu的API，我们可以获取关于支付、账单等多种数据，这些数据可以用于进一步的分析或集成进更复杂的AI应用。LangChain是一个用于构建语言模型应用的库，它提供了许多实用的工具来处理、索引和检索文档。通过将Iugu的API数据载入LangChain，我们可以对这些数据进行向量化处理，从而提升应用的智能化水平。
2025-01-23 15:22:27
429
原创 使用Unstructured加载图片并进行文档分析
文档图像分析（Document Image Analysis，DIA）是一个重要的领域，它在社会科学和人文学科的研究中发挥着重要作用。借助深度学习，DIA已经取得了显著的进展，但同时也面临着模型复杂性和代码重用性的挑战。Unstructured库旨在通过提供简单直观的接口，来简化这些任务并促进模型的扩展性。
2025-01-23 14:59:45
319
原创 使用EverNoteLoader解析Evernote导出文件
Evernote允许用户将其笔记导出为.enex格式，这是一个基于XML的格式，包含笔记的所有内容，包括文本、图像和元数据信息。将这些导出文件转换成可处理的数据格式对于数据分析、迁移以及其他操作具有重要意义。我们将使用提供的来实现这一目标。
2025-01-23 13:35:50
411
原创 “, doc.metadata[“title“])
字幕内容: Let’s learn English on a hike. (upbeat music) So I guess I should start this lesson by explaining the…In this English lesson I take you to a hiking trail near me…标题: Let’s Learn English on a Hike!🍂🚶🏼🎒 【英文字幕】", doc.page_content[:500]) # 打印部分字幕示例。
2025-01-23 12:38:27
290
原创 使用 Airbyte 集成平台中的 Zendesk Support 加载器进行数据加载
Airbyte 是现代数据集成的中坚力量，尤其在 ELT 管道中发挥重要作用。通过其丰富的连接器，用户可以轻松集成来自不同来源的数据。Zendesk 是一个流行的客户支持平台，利用 Airbyte，可以将 Zendesk 的支持数据轻松地集成到你的数据管道中。
2025-01-23 12:19:44
238
原创 使用John Snow Labs进行文本嵌入生成
John Snow Labs以提供高质量数据分析工具和AI解决方案而闻名，其NLP库能够支持多种自然语言处理任务。通过调用类，我们可以轻松地将文本转换为数值化的嵌入表示，适用于文档相似性比较、分类等任务。
2025-01-23 11:13:25
261
原创 从ERNIE Embeddings迁移到Qianfan Embeddings的实用指南
在自然语言处理（NLP）任务中，文本向量化是一个关键步骤，它将文本转换为数值形式以用于各种应用场景，如文本检索、信息推荐和知识挖掘。ERNIE Embedding 是由百度文心大规模模型技术支持的一种文本表示模型。然而，随着技术的发展和平台的更新，ERNIE Embeddings已逐渐不再被维护，并被Qianfan EmbeddingsEndpoint所取代。
2025-01-23 10:05:25
405
原创 使用Databricks进行嵌入模型的快速入门
Databricks提供了一种便捷的方式来托管和使用嵌入模型，通过DatabricksEmbeddings类，我们可以轻松地包装一个托管在Databricks Model Serving上的嵌入模型终端，并在我们的应用中使用。无论是使用基础模型还是自定义的模型，Databricks都可以通过其兼容的格式进行服务。
2025-01-23 09:53:34
517
原创 使用英特尔扩展进行权重量化的Hugging Face模型
Hugging Face Model Hub 是一个开放平台，拥有超过12万个模型、2万个数据集和5万个演示应用程序。量化技术是指通过减少模型参数的位数来压缩模型，从而提高其效率。这篇文章着重介绍如何在本地使用 Intel Extension for Transformers 进行权重量化，从而实现对 Hugging Face 模型的高效优化。
2025-01-23 08:24:35
363
原创 深入了解Tongyi Qwen：阿里巴巴达摩院的AI语言模型
Tongyi Qwen是由阿里巴巴达摩院开发的大规模语言模型。凭借先进的自然语言理解（NLU）和语义分析技术，Tongyi Qwen能够准确理解用户意图，并在多领域内提供智能服务和帮助。通过清晰的指令，用户可以获得更符合预期的结果。
2025-01-23 08:13:13
346
原创 使用SparkLLM实现大规模认知任务
SparkLLM是由科大讯飞独立开发的大规模认知模型，具备跨领域的知识和语言理解能力。通过学习大量的文本、代码和图像数据，SparkLLM可以基于自然语言对话理解和执行任务。本文将带你了解如何在实际项目中应用SparkLLM，并提供详尽的代码示例。
2025-01-23 07:55:39
289
原创 RELLM: 利用正则表达式进行结构化生成的LLM库
人工智能语言模型（LLM）如 GPT 等，在生成文本时通常不限制输出格式。然而，在某些应用场景下，遵循特定的输出格式（如 JSON 格式）可以显著提高可用性。为此，RELLM 提供了一种将 Hugging Face 的模型与正则表达式相结合的方法，确保输出符合指定的结构。
2025-01-23 07:38:33
479
原创 利用GooseAI实现NLP服务的Langchain应用
GooseAI是一种提供NLP即服务的API，允许开发人员通过简单的API调用访问强大的自然语言模型。Langchain是一个强大的库，它简化了多步骤推理链的构建，这使得开发人员能够高效地使用复杂的语言模型。
2025-01-23 05:06:04
378
原创 探索ChatLiteLLM与Langchain的集成应用
随着人工智能技术的飞速发展，多种语言模型应用于不同场景。集成这些模型并保持统一的接口对开发者而言是一大挑战。ChatLiteLLM作为一个轻量级的库，通过封装和标准化调用方式，使得跨平台模型使用变得简单而高效。
2025-01-23 01:07:47
634
原创 使用Neo4j构建高效图数据库应用
Neo4j 是一个开源的数据库管理系统，专注于图数据库技术。这种数据库允许我们使用节点（nodes）和边（edges）来表示和存储数据，非常适合处理连接数据和关系。Neo4j 提供了一种名为 Cypher 的查询语言，使得与图数据的交互更加简单。Neo4j 的高性能图遍历和查询能力使其成为生产系统的理想选择。您可以通过访问Neo4j 官方网站来开始使用。
2025-01-22 16:08:55
271
原创 利用LangChain集成MyScale向量数据库进行高性能查询
MyScale以其高性能的向量搜索引擎著称。通过MyScale，您可以注册SaaS服务并立即启动集群。若您对我们如何将SQL与向量集成的技术感兴趣，请参阅这份文档。我们在HuggingFace上提供了实时演示——查看我们的HuggingFace空间，它们可以在瞬间搜索数百万的向量！
2025-01-22 16:01:16
251
原创 使用Langchain的GutenbergLoader加载Project Gutenberg电子书
Project Gutenberg是一个提供免费电子书的在线图书馆，致力于为用户提供丰富的电子书资源。对于AI开发者来说，这代表了一个巨大的未加标签的文本数据资源，可以用于自然语言处理任务的训练和测试。
2025-01-22 11:32:26
391
原创 使用DSPy编译优化RAG系统的实践指南
设置API密钥首先，我们需要设置OpenAI的API密钥：配置检索器与语言模型我们将使用DSPy中的ColBERTv2作为信息检索器：接下来，设置语言模型和缓存：检索函数定义构建RAG管道使用LangChain的表达语言创建一个基本的RAG系统：优化管道通过DSPy优化RAG管道：评估与优化使用DSPy’s 模块评估优化前后的性能：使用 进行优化：优化结果通过优化，RAG系统的性能从42%提升到接近50%。这种提升显著增强了模型的准确性和输出的相关性。此优化方法特别适用于需要
2025-01-22 09:12:23
284
原创 探索 DocArray：处理嵌套、非结构化、多模态数据的高效工具
DocArray是一个Python库，为深度学习工程师提供了一套Pythonic API，用于高效地处理、嵌入、搜索、推荐、存储和传输多模态数据。无论你是处理简单的文本数据，还是复杂的图像和音频组合数据，DocArray都能为你提供便利的工具。
2025-01-22 08:53:41
342
原创 使用Diffbot进行网页数据结构化与自然语言处理
随着互联网数据的急剧增长，企业和开发者需要从大量的非结构化网页内容中提取有用的信息。传统的网页抓取工具通常依赖于特定规则，难以处理复杂或动态的网页。Diffbot通过利用机器学习技术，特别是计算机视觉和自然语言处理，提供了一种无需预设规则的网页数据提取解决方案。
2025-01-22 08:35:58
291
原创 利用DeepInfra集成LangChain实现机智对话与嵌入式文本生成
DeepInfra是一个高性能的机器学习平台，它为运行、扩展和监控模型提供了全面的支持。用户可以基于REST API快速集成DeepInfra的模型，专注于应用开发，提高开发效率。在LangChain中，DeepInfra提供了相应的集成组件，使得文本生成和嵌入等任务变得非常简单。
2025-01-22 08:24:29
310
原创 利用ArangoDB和Python实现图数据库问答系统
ArangoDB 是一款开源的多模型数据库，支持文档、图形和键值数据模型。它在处理连接数据时表现优异，能够通过AQL（ArangoDB Query Language）实现复杂的数据查询和操作。为了便于在Python项目中使用ArangoDB，我们可以借助库。
2025-01-22 03:59:20
318
原创 使用 ChatVertexAI 实现多语言翻译助手
ChatVertexAI 是 Google Cloud 提供的语言模型 API，能够处理多种输入模式（如文本、音频、图像等），并支持 token 级别流式传输和异步调用等特性。此工具广泛应用于自动化翻译、文本生成等场景。
2025-01-22 02:29:42
412
原创 在Python中加载并使用OpenAI Embedding类
近年来，文本嵌入在自然语言处理领域中扮演了越来越重要的角色。它们能够将文本数据转换为数值向量，从而在机器学习模型中进行处理。OpenAI提供了一套强大的嵌入模型，使用这些模型可以轻松地将文本转换为高维数值向量。
2025-01-22 00:14:09
371
原创 快速生成长文本的技巧——“Skeleton of Thought“ 实战指南
"Skeleton of Thought"是一种文本生成策略，旨在提升生成长文本的效率和速度。这一技术的核心思想是分步进行文本创建：首先生成一个大纲（Skeleton），然后具体化每个大纲要点。这种方式不仅能加速生成过程，还能提高内容的结构化程度。
2025-01-21 22:50:56
350
原创 使用RAG-Vectara-Multiquery实现多查询问答系统
RAG（Retrieval-Augmented Generation）结合了文本检索和文本生成两个阶段，可以在大型语料库中找到相关文档，并基于检索结果生成回答。Vectara是一种支持自然语言搜索的服务，通过其增强的多查询能力，可以提高RAG模型的检索效果。
2025-01-21 22:05:19
235
原创 使用多索引路由的RAG（检索增强生成）实现QA应用
RAG（Retrieval-Augmented Generation）是一种结合搜索与生成的AI技术架构。传统的问答系统在面对大量未标注的文本时常常力不从心，而RAG通过在生成答案前检索相关上下文信息，大大提高了问答系统的准确性。
2025-01-21 20:36:52
281
原创 使用多向量索引策略实现命题检索
信息检索一般依赖于向量化的文本表示，而多向量索引策略通过对不同粒度的文本片段进行向量化，来提升文本检索的精度。这对学术论文和技术文档的精细化信息检索具有显著的效果。
2025-01-21 17:58:43
412
原创 使用Neo4j-Semantic-Ollama构建智能交互代理
Neo4j是一种高性能的图数据库，它适合于处理结构复杂的数据。在此基础上，加入语义层可以让应用程序更智能地理解和响应用户请求。Mixtral作为JSON格式的代理工具，与Ollama一起工作，为Neo4j添加了语义理解的能力。
2025-01-21 16:54:23
535
原创 利用LangChain实现动态模式生成与修订
在复杂的数据处理环境中，数据模式的动态生成与修订是一个常见的需求。传统的方法通常涉及人工干预，费时且易出错。而通过利用AI和自动化工具，我们可以更高效地迭代生成和修订数据模式，提高工作效率。
2025-01-21 14:27:56
187
原创 将LangChain工具转换为OpenAI函数的实战指南
在AI应用的开发中，OpenAI提供了强大的API接口，而LangChain是一个让开发者能够方便地构建语言模型应用的库。将LangChain工具转换为OpenAI函数可以充分利用两者的优势，提高应用开发的灵活性和扩展性。
2025-01-21 06:38:04
435
原创 如何保存和加载LangChain对象
在使用LangChain进行开发时，保存和加载对象是常见的需求。LangChain的类实现了标准的序列化和反序列化方法，这些方法有一些明显的优势，例如将API密钥等机密信息与其他参数分开，以及跨版本兼容的反序列化功能。本文将详细讲解如何使用LangChain的序列化系统，通过示例演示如何保存和加载LangChain对象。
2025-01-21 05:08:11
282
原创 使用n-gram重叠选择示例的实现以及应用
在自然语言处理任务中，选择合适的示例来增强模型的表现是一个常见的需求。选择合适的示例可以帮助提高生成内容的准确性和连贯性。是一个用来根据n-gram重叠得分选择和排序示例的工具，它可以帮助我们筛选出与输入最相似的示例。
2025-01-21 01:16:06
331
原创 如何使用 LangChain 加载和解析 JSON 数据
在现代应用程序中，JSON (JavaScript Object Notation) 是一种广泛使用的数据交换格式。其简洁且易于阅读的格式使得它成为了在不同系统间进行数据传输的首选。然而，随着数据结构的复杂化，如何有效地从 JSON 或 JSON Lines 文件中提取所需信息就变得尤为重要。LangChain 为此提供了一个名为JSONLoader的实用工具，帮助开发者从 JSON 文件中提取所需的内容和元数据。
2025-01-21 00:28:27
376
原创 如何在ChatModels中追踪Token使用情况
在将AI聊天模型应用于生产环境时，跟踪token的使用情况对于费用计算至关重要。随着聊天模型的复杂性增加，理解每一次API调用的token使用量变得尤为重要。本指南将详细介绍如何通过LangChain模型调用来获取这类信息。
2025-01-20 23:15:43
548
原创 如何调度自定义回调事件
在进行复杂流程处理时，有时需要在步骤之间传递信息。例如，通过自定义事件，可以在不同的处理中转移状态信息。这在需要监控的长时间运行任务中尤为重要。await adispatch_custom_event("event1", {"x": x}) # 自定义事件 'event1'await adispatch_custom_event("event2", 5) # 自定义事件 'event2'return x。
2025-01-20 22:46:31
341
原创 如何创建自定义文档加载器
在大型语言模型（LLM）应用程序中，通常需要从数据库或文件（如PDF）中提取数据，并将其转换为LLM可以使用的格式。在LangChain中，这通常涉及创建Document对象，这些对象封装提取的文本()及元数据（如作者姓名或出版日期）的字典。通过这种方式，LLM可以基于文档内容进行总结等操作。
2025-01-20 21:54:36
264
原创 如何处理查询分析未生成查询的情况
在信息检索和问答系统中，我们通常需要从大规模数据中获取相关信息。然而，并不是所有用户输入都需要通过检索器获取外部信息，有些情况我们可以直接做出响应。因此，在调用检索器之前进行查询分析是很有必要的。
2025-01-20 20:19:07
371
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人