利用OpenAI、LangChain和Streamlit进行智能数据分析和可视化

如何从海量数据中提取有价值的信息，并将其转化为直观、易于理解的视觉形式，是当下亟待解决的一个问题。幸运的是，随着人工智能技术的飞速发展，特别是自然语言处理（NLP）和机器学习（ML）领域的突破，我们有了更为强大的工具来应对这一挑战。今天我们来聊一聊如何利用OpenAI、LangChain和Streamlit构建一个智能数据分析和可视化系统。

一、技术背景

（一）OpenAI

OpenAI 以其强大的语言模型而闻名，如 GPT-4o-mini。这些模型经过大量数据的训练，具备出色的自然语言理解和生成能力(OpenAI o1与GPT4o的对比分析)。在数据分析场景中，它们可以理解用户的自然语言查询，将其转化为可执行的操作，如生成 SQL 查询语句，从而实现与数据库的交互。此外，还能对数据分析结果进行解读，以自然语言的形式为用户提供深入的见解，帮助用户更好地理解数据背后的含义。

（二）LangChain

LangChain 是一个专门为开发基于语言模型的应用程序而设计的框架。它提供了一系列工具和接口，简化了与语言模型的集成过程。在数据分析与可视化项目中，LangChain 能够连接语言模型与外部数据源（如 BigQuery 数据库），实现数据的获取、转换和处理。它还支持构建复杂的工作流程，将多个数据处理步骤串联起来，形成一个完整的数据处理管道，从用户查询到最终的可视化呈现，确保整个过程的顺畅运行。

（三）Streamlit

Streamlit 是一个用于创建交互式 Web 应用程序的 Python 库。其主要优势在于能够快速将数据脚本转化为可共享的 Web 应用，无需过多关注前端开发细节。在数据分析领域，Streamlit 提供了丰富的可视化组件，如折线图、柱状图、地图等，可直接用于展示数据分析结果。它还支持实时交互，用户可以通过界面输入参数、调整查询条件，实时更新可视化内容，极大地提升了数据分析的灵活性和效率。

二、系统架构设计

（一）整体架构概述

用户通过 Streamlit 构建的用户界面输入自然语言查询，该查询首先被传递到 LangChain 进行处理。LangChain 利用 OpenAI 的语言模型将查询转换为 SQL 语句，并执行该语句从 BigQuery 数据库中获取数据。获取的数据经过一系列处理步骤，包括坐标提取、可视化推荐和数据转换，最终以可视化的形式在 Streamlit 界面上呈现给用户。

（二）核心组件功能

1. 用户界面（Streamlit）

   • 作为用户与系统交互的入口，提供简洁直观的查询输入框。用户在此输入自然语言问题，如 “查询客户数量最多的前 5 个来源系统”。

   • 负责展示数据分析结果，包括可视化图表（如柱状图、折线图等）和文本形式的解释说明。例如，以柱状图展示不同来源系统的客户数量对比，并在下方给出相应的文字解读。

2. 文本到 SQL 转换（LangChain + OpenAI）

   • 使用 GPT - 4o-mini 模型将用户输入的自然语言问题转换为语法正确的 SQL 查询语句。例如，将上述用户问题转换为 “SELECT source_system_name, COUNT (*) as count FROM customer GROUP BY source_system_name ORDER BY count DESC LIMIT 5”。

   • 对生成的 SQL 语句进行检查和优化，避免常见错误，如数据类型不匹配、使用错误的函数等。

3. 查询执行（LangChain + BigQuery）

   • 连接到 BigQuery 数据库，执行转换后的 SQL 查询语句，获取相关数据。例如，从包含客户信息的数据库表中检索出符合条件的数据记录。

   • 处理查询执行过程中的错误，如数据库连接问题、查询语法错误等，并向用户提供相应的错误提示。

4. 坐标提取（自定义函数）

   • 当查询结果包含地理数据（如地址信息）时，从结果中提取纬度和经度信息。例如，从包含客户地址的数据库表中提取出地址对应的经纬度坐标。

   • 对提取的坐标数据进行整理和验证，确保其准确性和可用性，以便后续用于地图可视化。

5. 可视化推荐（LangChain + OpenAI）

   • 根据用户问题、SQL 查询语句和查询结果，利用 GPT - 4o-mini 模型推荐(大模型哪个好用？)最合适的可