使用oceanbase构建一个ai自然语言分析知识库系统大模型

概述

随着大数据和人工智能技术的不断发展，构建一个高效、稳定的自然语言分析知识库系统成为了众多企业和研究机构的关注焦点。本文将介绍如何使用Vanna配合Ollama，基于OceanBase数据库来构建一个先进的AI自然语言分析知识库系统，并概述其主要功能和优势。

‌一、系统架构‌

该系统的核心架构包括三个主要组件：Vanna、Ollama和OceanBase。

1. ‌Vanna‌：作为数据处理和自然语言处理（NLP）的关键组件，Vanna负责数据的预处理、清洗、转换以及NLP任务的执行，如文本分类、情感分析、实体识别等。
2. ‌Ollama‌：作为AI模型和算法的核心，Ollama提供了丰富的机器学习模型和深度学习算法，用于训练和优化自然语言处理任务。它与Vanna紧密集成，共同实现高效的数据分析和知识提取。
3. ‌OceanBase‌：作为系统的底层数据库，OceanBase提供了高可用性、强一致性和高性能的数据存储和访问能力。它确保了系统在面对大规模数据时的稳定性和可靠性。

‌二、系统功能‌

1. ‌数据预处理与清洗‌：系统能够自动对输入的自然语言文本进行预处理，包括去除噪音、纠正拼写错误、分词等，以确保后续分析的准确性。
2. ‌自然语言处理‌：通过Vanna和Ollama的集成，系统能够执行多种NLP任务，如文本分类、情感分析、关键词提取、实体识别等，从而提取出文本中的有用信息和知识。
3. ‌智能分析与决策支持‌：基于构建的知识库，系统能够进行智能分析，为用户提供决策支持。例如，可以根据用户的查询需求，快速从知识库中检索相关信息，并生成详细的报告或建议。

三、Ollama本地大模型安装

Ollama支持win，linux，mac，本次在linux虚拟机安装，操作系统centos 7.9，内存8G

1、安装依赖包

yum install pciutils
yum install lshw

否则安装会遇到WARNING: Unable to detect NVIDIA/AMD GPU. Install lspci or lshw to automatically detect and install GPU dependencies.

2、安装Ollama大模型

Download Ollama on LinuxOllama大模型下载地址：Download Ollama on Linux

官方文档上的安装方式是如下：

你可以先尝试下安装，有可能安装成功

curl -fsSL https://ollama.com/install.sh | sh

不过一般国内下载比较慢，安装过程一直卡在"»> Downloading ollama…"

可以使用如下方法

# 下载安装脚本
curl -fsSL https://ollama.com/install.sh -o o_install.sh
# 打开o_install.sh,找到以下两个下载地址:
https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}
https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}
# 替换为
https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.2/ollama-linux-amd64
https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.2/ollama-linux-amd64-rocm.tgz

执行安装

sh o_install.sh
localhost.localdomain:root:/root:>sh o_install.sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 CLI
>>> Making ollama accessible in the PATH in /usr/local/bin
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

3、下载模型

本次因为资源有限我们使用llama3.18b，下载模型模型

ollama pull llama3.1:8b
localhost.localdomain:root:/root:>ollama pull llama3.1:8b
pulling manifest 
pulling 8eeb52dfb3bb... 100%