- 博客(89)
- 收藏
- 关注
RSS订阅原创 使用Qdrant进行矢量相似性搜索的实践
Qdrant是一个专注于矢量相似性搜索的引擎，适用于需要快速检索和过滤的场景。它允许我们通过API轻松地存储和管理矢量数据点，并根据矢量相似性进行高效检索。为了展示其功能，我们将使用一个包含电影摘要的小型数据集进行演示。
2025-01-24 07:43:27
208
原创 使用PGVector进行电影文档的向量搜索
PGVector是一个针对Postgres数据库的向量相似性搜索插件。它允许我们在数据库中存储向量并进行快速的相似性检索，非常适合于需要进行语义搜索的场景，例如搜索电影的相似性。
2025-01-24 07:37:54
289
原创 使用Elasticsearch和SelfQueryRetriever实现智能电影检索
Elasticsearch提供多租户能力和无模式的JSON文档存储，广泛应用于全文搜索和分析场景。通过将其与语言模型结合，我们可以创建一个智能化的自查询检索器，从而优化搜索体验。
2025-01-24 07:14:55
304
原创 如何使用DingoDB实现自查询检索器
在处理复杂数据查询时，传统的数据库可能在多模态数据处理和即时响应上有所欠缺。DingoDB 提供了向量存储和多模式数据处理能力，可以帮助开发者更高效地进行数据查询和分析。
2025-01-24 07:09:24
398
原创 将WeChat消息转换为LangChain格式，提升AI模型的训练效率
在日常生活中使用的许多即时通讯软件，像WeChat，虽然能够承载大量的聊天记录，但这些数据通常被局限在应用内部，缺乏清晰的导出和使用路径。然而，随着AI技术的迅速发展，如何更高效地利用这些对话数据成为了一个重要课题。本文将探讨一种利用LangChain框架加载并转换WeChat聊天记录的方法。接下来，我们实现一个类，该类负责解析文本文件并转换为LangChain支持的格式。) (?
2025-01-24 06:50:27
408
原创 使用 Zep 云记忆实现AI助手的长期记忆
Zep 云记忆是一项服务，允许 AI 助手存储和回忆对话历史。通过整合记忆功能，AI 可以保持上下文，提供更个性化和一致的用户体验。此外，Zep 自带的向量搜索功能可以在大量的对话数据中进行高效的语义检索。
2025-01-24 06:07:51
382
原创 使用 Apache Cassandra 存储聊天消息历史
Apache Cassandra 是一个分布式数据库管理系统，设计用于处理大型数据集，具备无中心化结构和无单点故障的特点。它特别适合于需要高吞吐量和低延迟的应用，如实时聊天系统中的消息历史存储。
2025-01-24 04:47:49
319
原创 使用LLMs实现自然语言查询Ontotext GraphDB的实战指南
Ontotext GraphDB 是一种图数据库和知识发现工具，兼容RDF和SPARQL。通过集成LLM，我们可以将自然语言转化为SPARQL查询，简化复杂的查询过程。
2025-01-24 04:31:00
406
原创 使用AstraDBByteStore进行数据存储：从入门到实践
AstraDB 是基于 Apache Cassandra 构建的无服务器向量数据库，提供了一种简单易用的 JSON API。它允许开发者轻松地在云中进行高效的数据存储和检索。在本篇文章中，我们将通过一个名为的 Python 包来探索如何用 AstraDB 作为高效的键值存储。
2025-01-24 03:12:08
175
原创 使用TOML文件加载器进行配置管理
TOML 是一种配置文件格式，旨在易于阅读和编写，设计为能够明确映射到字典。它的规范是开源的，且在多种编程语言中都有实现。TOML 的名称是 “Tom’s Obvious, Minimal Language” 的首字母缩写，以其创建者 Tom Preston-Werner 命名。在开发过程中，我们可能需要加载和解析 TOML 文件来管理应用或服务的配置。下面，我将通过一个示例，展示如何使用TomlLoader来加载 TOML 文件，并解析其中的内容。
2025-01-23 19:26:28
166
原创 使用GitHub API加载问题和请求示例
GitHub上的问题和PR是开发过程中的重要部分，利用API可以程序化地访问和处理这些信息，从而实现自动化的工作流和数据分析。在这篇文章中，我们将使用库帮助我们实现此功能。
2025-01-23 14:20:19
371
原创 使用 ArxivLoader 从 arXiv 加载学术文献并实现高效文档处理
arXiv是一个开放获取的学术存储平台，涵盖了物理、数学、计算机科学等多个领域的 200 万篇学术论文。这些文献中包含了如逻辑推理、机器学习等热门领域的最新研究进展。通过使用 ArxivLoader，我们可以轻松地搜索和加载 arXiv 上的学术文献，并将其转换为文本以供分析或应用于下游任务，例如问答系统、摘要生成或知识图谱构建。有时我们并不需要完整的文献内容，而是只需要摘要用于快速预览。可以使用 get_summaries_as_docs()# 获取文献摘要# 查看第一篇摘要。
2025-01-23 12:31:29
491
原创 使用Intel® Extension for Transformers加载量化文本嵌入模型
自然语言嵌入（Embedding）是将文本数据映射到向量空间的一种技术，是许多NLP任务的基础。传统的嵌入模型在追求更高精度的同时，往往会导致计算量和内存需求的剧增。Intel® Extension for Transformers通过引入模型量化技术，不仅能够在较小的精度损失下显著减少模型大小，还能加速推理过程。
2025-01-23 11:07:01
499
原创 使用IPEX-LLM在Intel GPU上进行本地BGE嵌入
IPEX-LLM是一个基于PyTorch的库，用于在Intel CPU和GPU（例如集成GPU、独立GPU如Arc、Flex和Max）上运行大型语言模型（LLM），并且具备极低的延迟。通过结合LangChain进行嵌入任务，我们可以显著优化运行效率。
2025-01-23 11:01:26
299
原创 使用Gradient Embeddings与Langchain进行嵌入式查询的实践
在大型语言模型(LLMs)的应用中，嵌入式模型是一种将文本数据转化为向量表示的技术，适用于语义相似性计算、文本聚类等任务。Gradient通过其API为开发者提供了创建嵌入、微调和使用模型进行推断的功能。
2025-01-23 10:38:46
134
原创 使用LangChain集成Predibase实现模型训练与推理
LangChain 是一个强大的框架，用于构建链式任务处理，包括复杂的文本生成、语义分析等。而 Predibase 作为机器学习模型托管平台，不仅支持大语言模型的托管，还提供了灵活的适配器微调（adapter fine-tuning）功能。通过将二者结合，我们可以更轻松地实现LLM在生产环境中的高效部署与使用。model="my-base-LLM", # 替换为自定义模型名称adapter_id="my-finetuned-adapter-id", # 替换为自定义适配器ID。
2025-01-23 07:27:02
293
原创 使用Langchain与PipelineAI集成进行大规模机器学习模型操作
在当今的AI应用中，大规模模型部署和灵活的API访问是机器学习模型应用的核心需求。PipelineAI提供了在云中大规模运行机器学习模型的能力，而Langchain可以帮助我们简化与这些模型的交互过程。通过这篇文章，我们将探讨如何使用Langchain与PipelineAI集成来实现这些功能。
2025-01-23 07:21:27
318
原创 使用 Llama.cpp 和 llama-cpp-python 快速部署本地 LLM 模型
是llama.cpp的 Python 绑定，旨在简化本地运行大语言模型的过程。它支持多种 LLM 模型，包括可以从获取的模型。
2025-01-23 05:57:20
1875
原创 使用LangChain与GigaChat进行对话生成
GigaChat是一种强大的自然语言生成模型，它可以被用于构建对话生成、任务自动化等应用。LangChain提供了一种灵活的方式来与大型语言模型(LLM)交互，使得我们可以轻松地进行对话设计和生成。
2025-01-23 04:54:46
410
原创 探索去中心化AI的潜力：Bittensor和NIBittensorLLM
随着人工智能（AI）技术的发展，去中心化的AI模型如Bittensor开始受到关注。Bittensor是一个类似于比特币的挖矿网络，但其独特之处在于通过内置的激励机制，鼓励矿工贡献计算能力和知识。由Neural Internet开发并由Bittensor支持的NIBittensor LLM展示了去中心化AI的真正潜力，通过多种AI模型（如OpenAI、LLaMA2等）提供最佳响应。
2025-01-23 03:41:51
317
原创 使用 OllamaFunctions 实现工具调用的高级方法
随着人工智能技术的迅猛发展，越来越多的语言模型具备了通过工具调用来增强其实用性的能力。工具调用可以帮助模型实现更复杂的数据处理和响应格式，而 OllamaFunctions 提供了一种实验性的方法来实现这一目标。虽然这是一个实验性的功能，但其潜在价值不容忽视。
2025-01-23 01:58:42
476
原创 使用 Azure OpenAI 实现文本嵌入
在自然语言处理 (NLP) 任务中，文本嵌入是一种广泛应用的技术。它将文本数据映射到一个高维向量空间，使得计算机能够更好地理解和处理自然语言。Azure OpenAI 提供了强大的嵌入模型，可以帮助开发者轻松实现文本嵌入功能。
2025-01-22 23:32:35
657
原创 使用Google Lens工具进行图片信息提取
Google Lens 是一款非常强大的视觉识别工具，可以通过图片进行信息检索。与传统的图像搜索不同，Google Lens 结合了机器学习技术，可以智能地识别图片中的内容，并返回相关的信息，更适合用于图片中的对象识别和搜索。结合 SerpApi 服务，我们可以将此功能整合到 Python 应用中。
2025-01-22 22:50:58
587
原创 使用Google Vertex AI Search进行企业级高级搜索
Google Vertex AI Search（前称为Enterprise Search on Generative AI App Builder）是Google Cloud提供的Vertex AI机器学习平台的一部分。Vertex AI Search允许组织快速建立由生成式AI驱动的搜索引擎，为客户和员工提供服务。它基于各种Google Search技术，包括语义搜索，通过使用自然语言处理和机器学习技术来推断内容中的关系和用户查询的意图，从而提供比传统关键字搜索技术更相关的结果。
2025-01-22 22:44:36
1168
原创 使用Python轻松获取Reddit帖子数据
Reddit是一个流行的社交新闻聚合、内容评分和讨论网站，用户可以在上面分享和讨论各种话题。为了从Reddit中自动提取数据，我们可以使用PRAW（Python Reddit API Wrapper），这是一个专为Python开发者设计的强大工具。
2025-01-22 17:59:31
418
原创 使用GROBID和LangChain解析学术论文的秘籍
在自然语言处理和文本解析领域，GROBID是一款出色的机器学习库，专注于从学术文件（如论文）中提取、解析和重构结构化信息。通过GROBID，我们可以高效地将PDF格式的论文转换为机器可读的数据形式，为后续的文本分析和处理打下坚实基础。GROBID尤其适合处理学术论文，但对于大型文档（如学位论文），其性能会有所限制。
2025-01-22 11:26:45
201
原创 使用DataForSEO搜索API与LangChain集成实现SEO数据分析
DataForSEO提供了多种API接口，用于检索SEO相关数据，例如关键词研究、竞争分析等。通过这些API，我们可以获取用于SEO策略优化的重要数据。LangChain作为一个强大的工具，允许我们在AI代理中集成并调用这些API，从而实现自动化SEO数据分析。
2025-01-22 08:07:30
348
原创 使用 ClickHouse 作为高性能向量数据库的指南
随着机器学习和 AI 的发展，向量数据库的需求急剧上升。向量数据库可以存储高维向量，并支持高效的相似性搜索，这对于推荐系统、图像识别和自然语言处理等应用非常重要。ClickHouse 的扩展功能使其成为进行此类工作的有力工具。
2025-01-22 06:45:11
480
原创 如何使用CerebriumAI实现高效的LLM模型推理
CerebriumAI 是一家提供服务器无关 GPU 基础设施的服务提供商。通过其 API，开发者可以轻松访问多种大型语言模型（LLM），简化了ML基础设施管理，提高模型的推理效率。对于那些希望在有限的预算下享受高端计算资源的团队，CerebriumAI 提供了一种理想的解决方案。
2025-01-22 06:27:05
343
原创 探索Aleph Alpha：强大的AI建模工具及其应用
Aleph Alpha成立于2019年，致力于研究和开发强大的人工智能基础技术，尤其是在大语言模型和多模态模型的领域。它作为欧洲最快的商用AI集群之一，为开发者提供了变革性的AI技术支持。其中，Luminous系列作为其大语言模型家族的一部分，在NLP领域展示了强大的性能。
2025-01-22 03:37:11
280
原创 使用PGVector在Postgres中实现LangChain的向量存储
随着自然语言处理和大数据分析的普及，向量存储技术成为了实现高效数据检索的重要工具。LangChain提供了一个基于向量存储的抽象层，使得开发者可以方便地切换底层存储引擎，以满足不同场景的需求。PGVector是一个使用Postgres作为底层支持，并利用pgvector扩展的LangChain向量存储实现。
2025-01-22 00:31:13
416
原创 使用Robocorp构建和操作Python工作流
Robocorp提供了一个基于Python的工作流自动化解决方案，能够让开发者在云端、服务器甚至是本地环境中无缝运行自动化操作。它特别适合需要跨平台部署的企业应用，以及需要大规模并行处理的任务。
2025-01-21 12:58:51
390
原创 如何从工具中访问RunnableConfig
在使用LangChain构建自定义工具时，往往需要对调用的内部事件进行追踪和配置。特别是在调用聊天模型、检索器或其他可运行的模块时，能够访问和配置这些模块的运行时参数至关重要。本指南将展示如何通过手动传递参数，正确地访问内部的对象。
2025-01-21 06:16:02
200
原创 如何强制模型调用特定工具
LangChain 是一个用于构建由多种工具和模型协同工作的复杂 AI 应用的框架。它允许开发者定义工具，并通过模型来调用这些工具，以便实现更复杂的任务方案。了解如何强制模型选择特定工具，可以帮助开发者精确控制模型行为以满足特定需求。
2025-01-21 06:10:34
290
原创 如何禁用OpenAI的并行工具调用
在使用OpenAI提供的API进行开发时，我们可能会碰到工具调用默认是并行执行的场景。这意味着如果我们询问类似“东京、纽约和芝加哥的天气如何？”的问题，并且我们有一个获取天气的工具，OpenAI将会同时对这三个城市分别发起调用。然而，在某些开发场景中，我们可能希望限制工具调用的并行性，比如在顺序依赖较强的任务中，或者对于某些需要节约资源的场景。本文将通过代码示例，详细讲解如何禁用并行工具调用。
2025-01-21 06:04:53
397
原创 使用LangChain进行流式开发的终极指南
LangChain是一个开源框架，旨在简化语言模型应用的开发流程。它将模型、解析器、提示、检索器和代理等重要组件实现为一个统一的接口——LangChainRunnable接口。通过实现该接口，LangChain支持同步和异步的流式处理，为开发者提供了灵活的流管理功能。
2025-01-21 05:36:50
308
原创 如何创建自定义输出解析器
解析模型输出是AI应用中的常见需求，例如需要将模型输出转换成特定的格式或进行数据清理。解析器可以帮助我们自动化这一过程，提高代码的可维护性和可读性。
2025-01-21 03:26:55
573
原创 如何在LangChain中跟踪LLM的Token使用情况
大语言模型（LLMs）正在改变我们与技术互动的方式。无论是生成文本还是回答复杂问题，LLMs都依赖于token来处理文本数据。因此，了解token使用情况是管理API调用成本的关键步骤。
2025-01-21 02:24:25
419
原创 使用长度选择器优化示例选择
在自然语言处理任务中，特别是使用大型语言模型时，构造有效的提示非常重要。一个冗长的提示可能会导致上下文窗口的溢出，而过短的提示又可能无法提供足够的信息。是一个强大的工具，它能够根据输入的长度调整示例的选择数量，从而帮助我们在生成符合上下文限制的同时，保持提示的完整性。
2025-01-21 01:04:29
414
原创 使用 Azure AI Document Intelligence 加载 Microsoft Office 文件
是以机器学习为基础的服务，能够从数字或扫描的 PDF、图像、Office 和 HTML 文件中提取文本（包括手写文本）、表格、文档结构（如标题、章节标题等）以及键值对。它支持多种文件格式的处理，包括 DOCX、XLSX、PPTX 等。
2025-01-21 00:39:52
294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人