- 博客(150)
- 收藏
- 关注
RSS订阅原创 使用Weaviate实现自查询检索器的电影数据查询
Weaviate不仅能存储和检索向量，而且能够扩展到数十亿个数据对象，非常适合大规模数据处理。在本次示例中，我们将使用Weaviate来存储电影摘要数据，并通过自查询检索器来实现基于自然语言查询的高效数据检索。
2025-03-24 21:44:40
374
原创 Qdrant：高效的向量相似性检索引擎应用指南
Qdrant 是一个生产就绪的向量相似性搜索服务，适合需要复杂过滤支持的数据操作场景。它可以存储和处理大量向量，并且支持多种扩展过滤功能，适合AI驱动的搜索和推荐系统。
2025-03-24 21:09:29
421
原创 使用 Milvus 和 Self-Query Retriever 构建向量数据库案例
Milvus 是一个开源的向量数据库，帮助用户存储、索引和管理多维向量数据，特别适用于从深度神经网络等 ML 模型生成的嵌入向量。通过利用 Milvus 的高性能查询能力，我们能够快速高效地从大规模数据集中检索相关信息。
2025-03-24 20:40:07
404
原创 如何在Facebook Messenger上进行数据下载和模型微调
在本文中，我将为大家介绍如何下载Facebook Messenger上的聊天数据，并将其用于训练语言模型。这个过程包括从下载数据到微调模型的完整步骤，以及如何在应用程序中使用微调后的模型。
2025-03-24 18:52:28
227
原创 使用 Apache Cassandra 存储聊天消息历史
Apache Cassandra 是一个分布式数据库管理系统，旨在处理大型数据集，支持高可用性和无单点故障。其架构允许快速和高效的读写，这对聊天应用等需要快速响应的系统尤为重要。
2025-03-24 15:29:07
215
原创 使用Zapier的自然语言动作API进行自动化工作流的实战指南
Zapier NLA API允许开发者通过自然语言接口访问Zapier平台上的数千个应用和操作。这其中包括Gmail、Salesforce、Trello、Slack等，处理所有底层API授权以及从自然语言到底层API调用的转换。
2025-03-24 13:20:48
410
原创 使用Steam API与LangChain集成进行游戏信息和推荐检索
Steam平台由Valve Corporation开发，是当今最大的电子游戏数字发行服务之一。通过Steam API，我们能访问海量的游戏数据，而LangChain是一个强大的工具链，可以帮助我们处理自然语言查询，为我们的应用提供灵活的扩展能力。
2025-03-24 12:42:09
322
原创 使用Mojeek Search进行搜索的实战指南
Mojeek是一个专注于用户隐私的搜索引擎，不依赖大型科技公司的数据支持。它提供一个简单易用的API接口，让开发者可以将搜索能力集成到自己应用或工具中。针对使用Mojeek API进行搜索的流程，本文将做一个详细的技术解析。
2025-03-24 09:55:14
227
原创 高效整合GitLab库与AI的开发实战
GitLab是一款流行的代码版本控制平台，拥有强大的持续集成和部署功能。而是一个Python库，提供了访问GitLab API的便捷工具。结合使用大型语言模型(LLM)，我们可以构建一个能处理日常CI/CD任务的自动化代理。
2025-03-24 08:43:12
169
原创 使用Elasticsearch和BM25实现高效文档检索
Elasticsearch以其分布式、多租户、RESTful的特性，成为构建复杂搜索应用的首选解决方案。其全文本搜索能力极为强大，支持通过各种检索算法获得相关性极高的检索结果。BM25（Okapi BM25）是基于概率检索模型的排名函数，最早由伦敦城市大学的Okapi信息检索系统实现，常被用于搜索引擎中以优化文档的相关性排序。
2025-03-24 03:36:55
360
原创 使用DocArray进行多模态数据管理与检索
随着数据类型变得日益多样化，如何有效管理和检索这些数据成为一个重要课题。DocArray 提供了一个统一的接口来处理这些挑战，它支持不同的索引后端，允许用户根据需求灵活选择。# 定义电影文档的模式title: str。
2025-03-24 03:25:53
222
原创 使用ArxivRetriever从arXiv获取学术文章
arXiv 是一个面向科学领域开放的在线文献存档库。研究人员可以上传和访问领域内的最新研究成果。为了在应用程序中有效利用这些资源，我们需要一种可靠的方法来从 arXiv 自动检索和格式化文档。这里，我们将使用中的来实现这一目标。
2025-03-24 02:52:48
282
原创 使用Tair作为向量数据库进行高效数据检索
Tair是阿里云开发的云原生内存数据库服务，提供丰富的数据模型和企业级功能，这使其能够支持实时在线场景，同时保持与开源Redis的完全兼容。Tair还引入了基于新的非易失性内存（NVM）存储介质的持久化内存优化实例，这对于需要高性能和低延迟的应用尤为重要。在这篇文章中，我们将探讨如何使用Tair的向量数据库功能，并通过实际代码示例演示如何进行相关操作。
2025-03-24 00:36:43
375
原创 在SingleStoreDB中利用向量搜索实现高效的AI应用
SingleStoreDB 是一种高性能的分布式 SQL 数据库解决方案，专为云端和本地环境而设计，其卓越的性能使其在处理复杂AI应用时表现出色。尤其值得一提的是其对向量存储和操作的先进支持，使其成为需要进行文本相似性匹配等AI能力应用的理想选择。
2025-03-24 00:03:20
305
原创 使用UnstructuredOrgModeLoader加载Org-mode文档的实战指南
Org Mode是一种用于文档编辑、格式化和组织的模式，专为Emacs文本编辑器设计。它广泛应用于笔记、计划和书写活动中。随着AI技术的发展，越来越多的工具开始支持对Org Mode文档进行解析和处理，其中UnstructuredOrgModeLoader便是一个强大的工具。它提供了一种简单的方式来加载和处理Org-mode文件，使开发者能够在AI应用中利用这些结构化数据。
2025-03-23 13:34:24
338
原创 利用LarkSuite API将数据加载至LangChain实现文本摘要
LarkSuite API提供了强大的数据访问功能，例如获取文档和Wiki内容。为了访问这些数据，您需要一个有效的访问令牌（tenant_access_token或user_access_token）。这些令牌可以通过LarkSuite开放平台获取。当我们获取需要处理的数据后，可以使用LangChain中的功能进行进一步处理，例如文本摘要。
2025-03-23 11:53:13
267
原创 如何将Facebook聊天数据加载到LangChain中
Facebook Messenger是一款广泛使用的即时通讯工具，它存储了大量的用户对话数据。这些数据对于研究用户行为、构建聊天机器人以及理解语言模式非常有价值。通过将这些数据加载到处理框架中，可以更好地分析和利用这些信息。LangChain是一个流行的框架，适用于自然语言处理，尤其是在处理文本数据时非常有用。LangChain提供了多种文档加载器，可以轻松地将不同格式的数据转换为可处理的文档对象。
2025-03-23 10:02:19
252
原创 使用Etherscan API加载以太坊交易历史
此示例中，我们从指定账户中加载ERC20交易信息，并打印第一个交易的详细信息。以上代码演示了如何为账户配置过滤条件并分页提取交易记录。如果遇到问题欢迎在评论区交流。
2025-03-23 09:50:59
300
原创 使用Python分析和加载Discord聊天数据
Discord是一个广泛使用的VoIP和即时通讯社交平台，允许用户通过语音、视频、文本、媒体和文件进行交流。用户可以在私人聊天或称为“服务器”的社区中进行互动，每个服务器由多个持久的聊天室和语音频道组成。在本文中，我们将探讨如何使用Python来下载和处理Discord数据，尤其是如何加载和分析Discord的聊天数据。
2025-03-23 09:12:16
390
原创 利用Datadog_logs_loader进行日志检索与分析
这种技术在故障排除、性能监控及安全审计等领域具有广泛应用。特别是在云环境中，快速访问日志有助于进行即时响应与精确定位问题。如果遇到问题欢迎在评论区交流。
2025-03-23 08:55:46
157
原创 使用CSVLoader加载和解析CSV文件
CSV文件通过逗号分隔各个值，每一行代表一条记录，常用于储存表格数据。Python提供了许多处理CSV文件的库，但在与AI应用结合时，我们需要更为强大和灵活的工具，例如。你可以通过传递csv_argscsv_args={"delimiter": ",", # 指定分隔符"quotechar": '"', # 指定引用字符"fieldnames": ["MLB Team", "Payroll in millions", "Wins"], # 自定义字段名},
2025-03-23 08:44:41
223
原创 使用ConcurrentLoader实现高效的并发文档加载
文档加载是许多AI应用的基础，尤其是在自然语言处理领域，需要从许多文件中提取文本数据。传统的加载方式通常是串行的，这可能导致较长的等待时间，尤其是当文件数量众多或文件较大时。是专为解决这个问题设计的工具，它允许我们并发地加载文档，从而显著提升处理效率。
2025-03-23 08:16:30
262
原创 使用Airbyte加载Zendesk Support数据的实战讲解
Airbyte是一个功能强大的数据集成平台，支持从API、数据库和文件等多种来源提取数据到数据仓库和数据湖中。它提供了广泛的ELT连接器，方便开发者构建自己的数据管道。在这篇文章中，我们将聚焦于如何使用Airbyte来从Zendesk Support加载数据，尽管这个特定的连接器已被弃用，但它的使用方法为新的加载器提供了参考。通过这篇文章，我们了解了如何使用Airbyte来加载Zendesk Support的数据，虽然该连接器已被弃用，但其原理和代码实践仍然适用于其他类似场景。如果遇到问题欢迎在评论区交流。
2025-03-23 06:26:35
288
原创 使用 Airbyte 加载数据到本地 JSON 文件并读取
Airbyte是一个开源的数据集成工具，允许用户从多种数据源提取数据，并将其加载到指定的目的地。它支持和维护大量的连接器，使得在数据工程过程中变得简便高效。我们将使用Airbyte将数据加载到本地JSON文件中，然后进行解析和读取。这在需要离线分析或者简单的数据备份场景中非常适用。
2025-03-23 06:03:58
304
原创 使用Airbyte完成Hubspot数据加载的实践指南
AirbyteHubspotLoader（及其替代者AirbyteLoader）可以在需要频繁同步Hubspot数据并将其存储到数据仓库中的场景中使用。适用于需要实时更新数据分析的系统，例如市场营销数据、客户关系管理分析等。如果遇到问题欢迎在评论区交流。
2025-03-23 05:58:31
221
原创 使用Gradient Embeddings实现文本嵌入和相似度计算
文本嵌入是自然语言处理中的一项重要技术，它能够将文本转化为机器可懂的向量表示，从而进行更深层次的分析和操作。Gradient Embeddings通过云服务提供了高效的文本嵌入和模型微调能力。
2025-03-23 01:27:22
337
原创 使用QianfanEmbeddingsEndpoint进行文本向量化处理
ERNIE Embedding-V1是由百度推出的一个基于Wenxin大规模模型技术的文本表达模型。它将文本转换为数值向量，从而使其适用于多种文本处理任务。然而，随着技术的不断发展，新的模型不断涌现，因此对旧模型的支持逐渐减少。
2025-03-23 00:54:35
312
原创 利用Cohere Embeddings进行文本嵌入的简单实践
Cohere是一家专注于提供强大NLP模型和API的公司，允许开发者轻松实现各种NLP任务，例如文本生成和文本嵌入。文本嵌入是表示文本向量化的重要步骤，对后续的机器学习模型输入非常关键。
2025-03-23 00:16:15
451
原创 如何使用Google Scholar工具进行学术搜索
Google Scholar是一个提供学术文献搜索的免费学术引擎。它的目标是通过对不同学术资源的聚合，让研究人员更便捷地找到相关文献。虽然Google Scholar的网页版广受欢迎，但在一些自动化场景中，我们可能需要通过API来获取数据。
2025-03-22 07:26:20
323
原创 使用Google Places API获取位置数据
Google Places API是Google提供的一套接口，用于获取关于某个地点的详细信息，包括了地址、电话、用户评论等。通过这些数据，开发者可以在应用中加入强大的搜索功能，提升用户体验。
2025-03-22 07:20:29
294
原创 用Python实现Google Lens API进行图像信息提取
Google Lens是一种强大的工具，能够通过图像识别技术从图片中提取大量有用信息。在开发应用程序时，能够通过API直接调用这种技术，将图片转化为有价值的数据，对于开发者来说是非常重要的。在这篇文章中，我们将学习如何使用Python代码，通过Google Lens API来获取图像的相关信息。
2025-03-22 07:15:02
191
原创 使用Google Cloud Text-to-Speech进行文本到语音合成
Google Cloud Text-to-Speech 是一种文本到语音合成服务，允许开发者通过调用API将文本转换为语音输出。这项技术已被广泛应用于语音助手、自动语音应答系统以及各种智能设备中。
2025-03-22 06:52:57
392
原创 ScaNN：高效向量相似性搜索的利器
在大规模数据处理中，寻找相似向量的需求普遍存在，如搜索推荐系统、自然语言处理应用等。ScaNN（Scalable Nearest Neighbors）是一种高效的向量相似性搜索算法，优化了搜索空间的剪枝和量化，特别适用于最大内积搜索，同时支持欧几里得距离等其他距离函数。ScaNN的实现针对支持AVX2的x86处理器进行了优化，提升性能。
2025-03-22 06:41:44
184
原创 利用 Google Firestore 和 Langchain 构建 AI 驱动的数据库应用
Google Firestore 是一种无服务器的文档数据库，广泛用于实时数据存储和同步。通过集成Langchain，我们可以存储和查询向量，使数据库能够进行高效的相似性搜索，为 AI 应用场景提供支持。
2025-03-22 06:19:18
266
原创 使用 Google Firestore 实现 LangChain 文档的存储与加载
Google Firestore 是一种无服务器的文档型数据库，支持可扩展的存储需求。结合 Firestore 的 LangChain 集成，我们可以轻松地将数据库应用扩展到构建 AI 驱动的体验。本篇文章将深入介绍如何使用 Firestore 存储、加载和删除 LangChain 文档。
2025-03-22 05:18:14
215
原创 使用AlloyDB for PostgreSQL加载文档的实战指南
Google AlloyDB for PostgreSQL 是一项完全托管的关系数据库服务，专为高性能、无缝集成和卓越的可扩展性而设计。它与 PostgreSQL 100% 兼容，支持通过 Langchain 集成扩展数据库应用程序以构建 AI 驱动的体验。在这篇技术文章中，我们将深入探讨如何使用 AlloyDBLoader 类在 AlloyDB for PostgreSQL 中加载文档。engine,content_columns=["product_name"], # 根据需要设置。
2025-03-22 04:22:34
239
原创 使用Amazon Neptune与OpenCypher实现图数据库查询及分析
Amazon Neptune是一款致力于图数据工作负载的无服务器数据库，提供高级别的可扩展性和可用性。其目标是支持每秒10万次查询请求，多可用区高可用性，以及多区域部署。Neptune适用于社交网络、欺诈检测和客户360应用等场景。OpenCypher则是Cypher图查询语言的开源实现，它以声明性方式进行图数据查询，能够高效地访问和操作大型图数据集。
2025-03-22 03:49:20
314
原创 使用Amazon Bedrock实现生成性AI应用
Amazon Bedrock是一种完全托管的服务，能够提供来自领先AI公司（如AI21 Labs, Anthropic, Cohere, Meta等）的基础模型。这些模型通过单一的API进行访问，并支持生成性AI应用的开发。开发者可以轻松地实验和评估这些模型，并根据具体的使用场景进行私有化定制。provider="cohere", # 指定提供商model_id="<Custom model ARN>", # 使用自定义模型ARN。
2025-03-22 02:25:27
392
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人