- 博客(95)
- 收藏
- 关注
RSS订阅原创 用Elasticsearch实现自查询检索器的实践
在现代软件开发中，使用强大的搜索和分析引擎来处理大量数据已成为一种趋势。Elasticsearch作为一个分布式、RESTful搜索和分析引擎，提供了支持多租户的全文本搜索引擎，结合其HTTP网络接口和无模式JSON文档，使其成为许多应用场景中的首选解决方案。本文将深入探讨如何在Elasticsearch中创建一个自查询检索器（SelfQueryRetriever），并利用其强大的功能来处理向量存储。我们将通过一个示例代码来演示实现过程，并分析其应用场景。
2025-07-11 11:57:20
347
原创 使用Pinecone和SelfQueryRetriever进行自查询向量检索展示
除了电影摘要检索，Pinecone与SelfQueryRetriever可用于任何需要快速检索相关信息的场景，例如电子商务产品推荐、学术论文检索、客户服务聊天记录分析等。通过自定义文档元数据和检索条件，可以精准过滤和定位所需数据。如果遇到问题欢迎在评论区交流。
2025-07-11 11:54:47
461
原创 使用Apify导出Twitter数据并进行AI模型微调
Apify是一款强大的数据爬取工具，可以方便地从各种网站提取信息，包括Twitter。通过使用Apify，我们可以快速获取推文内容，并在此基础上对AI模型进行微调，提升模型在社交媒体环境中的表现能力。
2025-07-10 15:27:56
446
原创 利用LangChain将Discord消息转换为可处理格式
定义一个import re"""初始化Discord聊天加载器."""r"(.+?:, \d{4})?:AM|PM))",# ...（处理消息逻辑省略）
2025-07-10 15:24:29
360
原创 使用LLMonitor进行AI模型的使用及成本分析
LLMonitor是一款开源工具，提供对AI应用的使用和成本分析、用户跟踪、请求追踪以及评价工具。通过这些功能，开发者可以轻松对AI应用的使用情况进行监控和优化，进而降低成本，提高用户体验。
2025-07-10 15:20:47
413
原创 使用Upstage Groundedness Check进行文本可靠性验证
Upstage Groundedness Check是一种用于验证文本信息是否与指定上下文具有一致性的工具。这对于需要确保信息真实性的场景非常有用，特别是在新闻、学术和商业应用中。
2025-07-10 10:30:47
353
原创 使用AI代理与Pandas DataFrame交互的实战指南
Python中的Pandas库是处理数据的一大利器，而LangChain中的代理技术则通过自动化代码生成来简化数据分析流程。尤其是在回答与DataFrame相关的问题时，代理能够调用生成的Python代码，大大提升效率和准确性。注意使用过程中的安全性，因为生成的代码可能会执行不当操作。
2025-07-10 10:21:35
374
原创 使用NASA工具包与AI代理互动
这种方式可用于教育、研究等场景，用户可以方便地查询和获取NASA的影像资源，并通过自然语言查询获取相关信息。此外，开发者可以扩展工具，集成其他NASA API，以提供更多样化的功能。如果遇到问题欢迎在评论区交流。
2025-07-10 10:15:37
372
原创 利用Kay.ai API进行高效数据检索与上下文获取
Kay.ai专为检索-生成应用(RAG)构建，旨在通过高效的数据嵌入和快速检索来提供即时上下文。这使得AI应用无需巨大的基础设施即可获得最新数据。
2025-07-09 14:58:10
406
原创 使用ElasticSearch和BM25进行高效文档检索
BM25在全文本搜索中尤其有效，因为它同时考虑了词频和文档长度，这使得长短文档之间的相关性计算更加平衡。适用于内容推荐、搜索引擎优化等场景。如果遇到问题欢迎在评论区交流。
2025-07-09 14:55:12
699
原创 使用 Vectara 创建一个生成式 AI 应用
Vectara 提供了一个可信的生成式 AI 平台，支持企业快速构建一个类似 ChatGPT 的体验，即基于数据、文档和知识的 AI 助手。
2025-07-02 16:27:22
296
原创 使用Vald进行近似最近邻向量搜索的实战指南
Vald是一种高效的ANN搜索引擎，它允许我们在大规模数据集上进行快速相似性搜索。通常用于需要快速处理复杂查询的场景，例如推荐系统和自然语言处理中的向量化搜索。
2025-07-02 16:24:59
218
原创 使用Lantern进行Postgres向量相似度搜索
向量相似度搜索是一种用于查找最相似数据的技术，广泛应用于推荐系统、自然语言处理等领域。Lantern是一个基于Postgres的工具，允许我们进行高效的向量相似度搜索，支持L2平方距离、汉明距离及余弦距离。
2025-07-02 14:28:49
241
原创 使用Annoy进行近似最近邻搜索的Python实践
在使用Annoy时，建议在构建索引前对数据进行良好规划，并结合实际嵌入需求选择合适的参数（例如树的数量和选择的距离度量）。同时，确保在共享数据的环境中正确配置文件映射，以最大化内存使用效率。Annoy适用于需要共享大型数据结构而又不频繁更新的场景，例如推荐系统中产品搜索，文档相似性匹配等。由于其高效的内存映射技术，可以在多进程环境下提供一致的查询性能。如果遇到问题欢迎在评论区交流。
2025-07-02 09:53:26
331
原创 基于Volcengine的文档重排名与压缩技术应用
在大型文档数据库中查找特定信息时，Volcengine Reranker可以有效提升检索的速度与准确性。这一技术能够应用于在线搜索引擎优化、企业知识库检索、以及科学文献筛选等多个领域。如果遇到问题欢迎在评论区交流。
2025-07-02 09:47:01
281
原创 迁移指南：从ErnieEmbeddings到QianfanEmbeddingsEndpoint
ERNIE Embedding-V1是一款基于百度文心大型模型技术的文本表示模型。它将文本转换为数值表示的向量形式，使计算机能够有效地处理文本数据。然而，由于缺乏维护和技术更新，ErnieEmbeddings已被宣布弃用。
2025-07-01 16:02:23
449
原创 使用 Amazon Bedrock 构建和集成生成式 AI 应用
Amazon Bedrock 是 AWS 推出的一个全面托管服务，旨在通过单一 API 提供来自顶尖 AI 公司的高性能基础模型（FMs），如 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 自家的模型。此服务支持用户根据具体应用场景进行模型的实验、评估、私有定制化，实现功能强大的生成式 AI 应用，并支持安全、隐私和负责任的 AI 实践。
2025-07-01 14:05:16
454
原创 使用Predibase与LangChain实现高级语言模型集成
通过LangChain集成Predibase的语言模型，你可以在对话系统、文本生成、评论分析等多个领域应用这些强大的模型。尤其是在需要高效调用和处理大规模数据的应用中，Predibase的稳定性和易用性表现突出。Predibase支持使用微调的适配器以提高特定任务的表现。接下来，使用Predibase的Python客户端进行身份验证，并调用LLM模型。如果遇到问题欢迎在评论区交流。
2025-07-01 11:14:22
337
原创 在云端环境使用Motherduck和DuckDB进行数据处理
随着现代数据分析和机器学习需求的增加，选择一个高效、易用的数据库管理工具变得尤为重要。DuckDB作为一款轻量级的列式数据库引擎，以其卓越的性能和简单的操作界面受到广泛欢迎。而Motherduck则将DuckDB提升到了云端，提供了一个全面的DuckDB管理服务，使用户可以在云中高效管理和查询数据。
2025-07-01 11:06:04
468
原创 使用MLOps工具存储和管理大语言模型
MLflow AI Gateway提供了一个高层接口，旨在整合组织内的多种LLM服务。这一技术通过一个统一的终端处理特定的LLM请求，极大地简化了调用这些模型的复杂度。然而，由于技术的演进，我们需要迁移到MLflow Deployments进行更好的LLM管理。
2025-07-01 11:02:58
202
原创 使用DuckDB进行高效数据分析
DuckDB是专门为数据科学和分析任务设计的数据库，支持复杂的SQL查询，是处理大型数据集的理想选择。它以其高性能、低资源占用和简单的安装过程而闻名，可以直接在应用程序中运行而无需单独的数据库服务。
2025-06-30 17:20:26
403
原创 使用OpenAI Embeddings进行文本嵌入
文本嵌入是将文本转换成向量的过程，这些向量可以在计算机中进行数学运算。嵌入通常用于语义分析、文本分类和搜索推荐等应用场景。OpenAI提供了高性能的文本嵌入模型，可以帮助开发者快速实现文本向量化。
2025-06-30 12:51:43
342
原创 使用 LLaMA2 与 SQL 数据库进行自然语言交互
LLaMA2-13b 是由Meta发布的大规模语言模型，能够理解和生成自然语言。通过利用现有的API，如Replicate和Fireworks，我们可以将自然语言查询转化为SQL查询，从而方便地与数据库进行交互。
2025-06-30 10:30:44
354
原创 自然语言查询 Supabase 数据库的实现
这种自然语言查询可以用于问答系统、智能检索和动态内容推荐等场景，尤其适合文档量较大的企业级应用。在 Supabase 中启用。如果遇到问题欢迎在评论区交流。
2025-06-30 10:28:18
417
原创 使用Neo4j搭建高效的文本嵌入检索系统
是一个开源项目，旨在结合Neo4j图数据库和OpenAI的文本嵌入服务来管理和检索文本数据。它通过将文档分割为较小的块，创建向量索引以进行高效检索。
2025-06-27 15:35:31
425
原创 从测试实践到覆盖率控制：确保代码质量的全面指南
单元测试和集成测试是测试软件系统的两个重要组成部分。单元测试旨在验证软件中最小单元的正确性，而集成测试则关注系统与外部服务的接口和交互。在软件开发过程中，确保这些测试高效且准确地运行，是降低代码缺陷和维护成本的基础。
2025-06-27 13:12:49
1817
原创 使用Psychic加载和处理文档的完整指南
Psychic是一种强大的工具，允许开发者从多种SaaS应用中连接和加载文档数据。通过其API，我们可以轻松地集成不同的数据源，并将数据转换为有用的格式。
2025-06-27 09:24:57
545
原创 使用HTMLHeaderTextSplitter进行HTML文本分割
在许多文本处理任务如自然语言处理(NLP)中，将大块的文本分解为更小的结构性单元可以改善解析结果。HTMLHeaderTextSplitter就类似于MarkdownHeaderTextSplitter，但专为HTML文件设计，具有结构感知能力。
2025-06-27 09:24:51
248
原创 使用LangGraph迁移MapReduceDocumentsChain实现高效文本摘要
在处理长文本的过程中，MapReduceDocumentsChain提供了一种有效的策略，通过将文本拆分为较小的文档进行处理，并最终合并结果得到完整的结果。这个策略的核心步骤是“映射”和“归约”：首先将文本拆分为多个小文档，然后应用并行化的处理，比如对每个文档进行摘要，最后合并这些摘要形成最终的总结。然而，LangGraph提供了一些增强功能，使得这种处理变得更为灵活和强大。
2025-06-27 09:14:41
488
原创 如何迁移到 LangChain v0.2
LangChain是一个强大的语言处理框架，支持构建复杂的链式数据处理和运算流程。随着v0.2的发布，一些原有的模块和功能被重构，开发者需要进行代码迁移以适应新的结构。
2025-06-27 09:10:23
345
原创 使用语义相似性分割文本的技术指南
文本分割在信息检索、文档摘要和自然语言理解等领域都至关重要。传统方法通常依赖于固定长度或简单的语法规则进行分割，但这些方法常常忽略语义信息。通过使用语义相似性，我们可以更智能地分割文本，将语义相似的句子分组在一起。这种方法依赖于文本嵌入，使用向量空间中的距离来衡量句子之间的语义差异。
2025-06-26 15:50:25
278
原创 递归字符文本拆分器的实现与应用
代码注释中说明了参数如何影响文本的拆分。这里的chunk_size和控制块尺寸及其重叠。用于定义块大小，决定分隔符是否是正则表达式。
2025-06-26 15:44:36
536
原创 如何使用LangChain加载Markdown文档
Markdown是一种轻量级的标记语言，可以在纯文本编辑器中创建格式化文本。对于许多开发者来说，它是撰写文档、README文件、博客文章的首选格式。LangChain提供了专门的加载器来处理Markdown文件，使我们能够轻松地提取有价值的信息并将其用于智能应用。
2025-06-26 13:59:50
469
原创 使用Python解析HTML文件并加载为LangChain文档
HTML，即HyperText Markup Language，是用于设计在浏览器中显示的文档的标准标记语言。解析HTML文件通常需要使用专门的工具，以提取和处理其中的内容。常用的解析库包括和，它们可以安装在Python环境中用于解析和加载HTML文件。
2025-06-26 13:58:13
264
原创 将LangChain Runnables转换为Agent工具的指南
LangChain是一种流行的框架，用于创建可以与模型交互的工具和代理。Runnables是LangChain中一种基本的可执行组件。将Runnables转换为工具，使得这个组件能够在更复杂的AI系统中被调用，例如在代理和链的上下文中。a: intprint(result) # 输出: '6'
2025-06-26 13:53:49
448
原创 使用HTMLHeaderTextSplitter进行HTML文本分割
在许多文本处理任务如自然语言处理(NLP)中，将大块的文本分解为更小的结构性单元可以改善解析结果。HTMLHeaderTextSplitter就类似于MarkdownHeaderTextSplitter，但专为HTML文件设计，具有结构感知能力。
2025-06-26 11:43:50
414
原创 如何在并行运行中调用Runnable
在LangChain框架中，是一个字典，其值是runnables（或者可以转化为runnables的东西，比如函数）。它允许所有值并行运行，每个值使用的总体输入进行调用。最终返回值是一个字典，每个值的结果都放在相应的键下。
2025-06-26 11:28:06
412
原创 使用向量存储作为检索器的实践指南
检索器在信息检索中扮演着重要角色，它将用户的查询和存储的文档进行匹配，从而返回相关的结果。向量存储检索器通过将文本转换为向量形式，利用向量之间的距离和相似度进行检索，显著提高了检索效率和准确性。
2025-06-26 11:24:52
331
原创 Conversational RAG: 构建智能对话问答应用指南
应用场景分析这样的对话问答系统可以用于多种应用场景：结束语：如果遇到问题欢迎在评论区交流。
2025-06-26 11:18:02
442
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人