【橘子大模型】使用text2vec向量化文本(上)

这是对于学习ai的一次尝试，使用向量化来把数据向量化之后接入向量数据库(我用的是ElasticSearch)。进而形成向量库实现向量搜索。从来来使用rag功能。当然本文侧重于如何使用该库进行向量化。

1、Python环境

我的mac电脑上的py环境是3.13，这个版本说实话有点新了。有不少兼容问题，但是py有一个venv的虚拟环境的功能，可以隔离我们的每一个环境，你再这个环境安装的依赖不会影响到其他虚拟环境，也不会影响到本地环境。类似于一个虚拟机这样吧。

pip install torch 
conda install pytorch
pip install -U text2vec

以上是如何安装text2vec的命令，我担心依赖版本冲突所以我们先创建虚拟环境。

1.1、创建虚拟环境

为了后面好管理，我们来创建一个专门为了这个库使用的目录。我这里就是
/Users/levi/develop/project/llm/embedding/text2vec

然后我们来初始化这个虚拟环境。
python3 -m venv /Users/levi/develop/project/llm/embedding/text2vec/myenv

然后我们来激活这个虚拟环境。
source /Users/levi/develop/project/llm/embedding/text2vec/myenv/bin/activate

ok，此时你就位于这虚拟环境了。你也可以执行deactivate来退出虚拟环境，当然了这里只是退出你的客户端，不影响使用。

1.2、安装库

我们先不退出虚拟环境，我们在该环境中安装我们的text2vec。按照官方文档来安装。

pip install torch 
conda install pytorch
pip install -U text2vec

ok,至此我们就完成了安装。于是我们就来创建项目。这里我使用的ide是pyCharm。
创建一个项目之后(下一步就行了)，我们来为我们这个项目指定虚拟环境。
依次打开pyCharm的setting，然后在project中选择你这个项目。
然后在Python Interpreter中点击Add Interpreter添加环境。注意这里可以选择python版本，最好选一个正常的，别太高或太低了，我用的py3.10我感觉还行。


选中你的那个虚拟环境就好了，注意要选中你的虚拟环境的bin下面的python文件。
然后保存就看到下图，下面那一堆什么jinja2就是这个环境下安装的依赖。

你可以在这里检查一下有没有我们上面安装过的torch之类的，没有你就点加号添加安装上去。于是我们此时就完成了环境配置，当然是本地配置的。
然后我们把这个demo来跑一下。

ok,至此我们完成了文本的向量化，后面我们来解释这些东西，然后把数据存储入es向量中。
顺带提一嘴，向量化的结果就是Embedding head后面的那个向量值数组。