langchain_openai的ChatOpenAI调用ollama多模态模型

使用到的python库

这里主要用到了这个几个库，使用streamlit，用来页面展示

• streamlit
• langchain
• langchain_openai
• base64

ollama 部署

1. 将自己微调好的模型使用llama.cpp转换成gguf格式，记录好保存的位置，也可以去huggingface官网去下载gguf文件
2. 找一个自己能找到的位置创建一个ModelFile.txt
3. 在ModelFile.txt 编辑写入 FROM D:\workspace\modes\gguf\quantize\llava-llama-3-8b-v1_1-int4.gguf 将gguf文件位置改为你自己的位置
4. 打开cmd输入 ollama create example -f Modelfile.txt 其中example 是名字，自己改
5. 然后输入 ollama run example
6. 不需要别的操作了，ollama默认支持openai api格式
7. 关于 ollama 语法，参考ollama

python代码

import streamlit as st
from langchain_openai import ChatOpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory
from langchain.schema import HumanMessage
import base64

# 设置页面标题
st.title("ChatOpenAI 图像分析与对话应用")

# 初始化 ChatOpenAI 模型
chat