Langchain 中多模态提示词输入

最新推荐文章于 2025-05-28 09:26:27 发布
最新推荐文章于 2025-05-28 09:26:27 发布
阅读量207 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LlamaIndex / Langchain 应用落地 文章标签： langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hawk2014bj/article/details/145310003

最新大语言的模型，很多都是支持多模态的，通过以下链接查看你使用的模型是否支持多模态。
https://python.langchain.com/docs/integrations/chat/
在这里插入图片描述
在Langchain 中，如果你使用的模型是支持多模态的，Langchain 已经进行了抽象，只需要将图片作为提示词的一个参数即可。

使用网络图片

将网络图片地址传给模型进行解析。

## Gemini
from langchain_google_genai import ChatGoogleGenerativeAI
import base64

model = ChatGoogleGenerativeAI(model="gemini-2.0-flash-exp")
image_url = "https://jiucaigongshe.oss-cn-beijing.aliyuncs.com/merchant/1737530260886dac0b4bf93c598c340ef604f443c2eca.png?x-oss-process=image/auto-orient,1/resize,w_1280/watermark,type_ZmFuZ3poZW5naGVpdGk,size_42,text_6Z-t56C
了解本专栏 订阅专栏 解锁全文 超级会员免费看
VLLM专题（二十）—多模态输入
03-17 366
本页面将教你如何在 vLLM 中向多模态模型传递多模态输入。要输入多模态数据，请按照以下 中的格式：你可以将单张图像传递给多模态字典中的 字段，如下例所示： 完整示例： 你可以在如下 中找到完整的代码示例。 如果需要在同一个文本提示中替换多张图像，可以传入一个图像列表，如下所示： 视频输入 你可以直接将 NumPy 数组列表传递给多模态字典中的 字段，而无需使用多图像输入。完整示例如下： 音频输入 你可以将一个元组 传递给多模态字典中的 字段。完整示例如下： 嵌入输入 要将预计算的嵌入（属于某种
使用LangChain实现多模态提示：如何将图像和文本同时传递给大模型的完整指南
m0_57781768的博客
09-06 788
通过这篇文章，我们学习了如何使用LangChain将多模态数据（如图像和文本）传递给大语言模型（如GPT-4），并让模型生成对图片的描述或根据图片内容进行工具调用。LangChain不仅支持纯文本输入，还支持复杂的多模态数据格式，使得开发者能够轻松构建更强大的多模态交互系统。通过结合多模态提示和工具调用，开发者可以为多种应用场景（如自动驾驶、医学影像分析、内容生成等）创建更加智能化的解决方案。
LangChain —— 多模态大模型的 prompt template
cheese_burger_的博客
07-11 2379
在这里，我们演示了如何将多模式输入直接传递给模型。对于其他的支持多模态输入的模型提供者，langchain 在类中提供了内在逻辑来转化为期待的格式。在这里，我们将描述一下怎么使用 prompt templates 来为模型格式化 multimodal imputs。我们可以直接在“image_URL”类型的内容块中提供图像URL。但是注意，只有一些模型提供程序支持此功能。传入图像最常用的方法是将其作为字节字符串传入。这应该适用于大多数模型集成。我们也可以给模型传入多个图片。我们也可以传多个图片。
【LangChain入门 10】多模态数据输入
hjxu2016的博客
03-31 465
这里的多模态模型采用, deepseek暂时不支持。
LangChain大模型应用开发：多模态输入与自定义输出
老赵爱学习的博客
02-20 1329
在LangChain中，自定义格式输出是指按照特定需求对模型生成的结果进行格式化处理，以满足实际应用的多样化需求。这一功能非常实用，因为语言模型的输出往往是通用的文本形式，而实际使用中可能需要将其转换为特定的数据结构、字符串格式或其他应用程序易于处理的形式。
如何使用多模态提示
fgayif的博客
03-10 397
多模态模型能够处理和理解多种类型的输入，比如文本、图像和音频等。在实际应用中，往往需要将这些不同类型的数据组合在一起，通过合适的方式输入到模型中，从而得到想要的输出。本文将重点讲解如何使用提示模板将图像数据输入到模型中并获取描述。
langchain调用多模态大模型
qq_34184505的博客
06-20 1087
【代码】langchain调用多模态大模型。
使用LangChain与多模态模型实现图像中的文字和表格提取（PDF可转图片）
weixin_38252409的博客
05-28 799
最近需要解决工程中的一个问题，就是将PDF中相关内容进行提取，而不相关水映等内容需要去除，为了实现这样的目的。我使用网页版本qwen进行了测试，效果基本能实现。为此，我使用ollama框架搭建多模态大模型，使用langchain架构来调用，给出相应的提示词来实现我们想要的功能。最终将提取的内容输出为makedown格式，再将其格式转成word格式进行输出。该方法能实现我们工程的需求。为此，我进行记录一下。
【LangChain编程：从入门到实践】构建多模态机器人
AI天才研究院
05-29 1275
人工智能(AI)技术在过去几年中取得了长足的进步,尤其是在自然语言处理(NLP)和计算机视觉(CV)等领域。大型语言模型(LLM)和深度学习模型的出现,使得机器能够更好地理解和生成自然语言,并从图像和视频中提取有意义的信息。文本问答代理: 一个基于语言模型的代理,专门用于回答基于文本的问题。图像问答代理: 一个基于计算机视觉模型的代理,专门用于回答基于图像的问题。多模态代理: 一个高级代理,能够协调文本问答代理和图像问答代理,根据问题的类型选择合适的代理进行回答。文本资源。
LangChain入门：5.使用图像字幕生成工具为图片增添主题描述
Hugo的博客
03-28 1128
接下来，我们定义一个图像字幕生成工具类，用于处理图片并生成描述。这个工具类将在LangChain代理中被调用。# 定义图像字幕生成工具类description = "为图片添加主题内容."# 下载图像并转换为PIL对象# 使用预处理器处理图像# 使用模型生成图像字幕# 解码生成的字幕。
图解 LangChain 多模态应用，刷完教程只为你轻松处理图文数据
xxue345678的博客
04-14 1124
LangChain 就像是个多媒体翻译官，能帮你把各种图片、文字完美融合起来处理。
langchain系列（二）- 提示词模板以及消息
forevercui的博客
02-12 887
LangChain的提示词模板的理论与实战
【带你 langchain 双排系列教程】6.LangChain多模态输入与自定义输出实战指南
u013257767的博客
02-23 972
执行深度市场分析：""""instruction": "分析智能手表市场现状"})执行深度市场分析："instruction" : "分析智能手表市场现状" }) print(f"目标人群： {result . target_audience } ") print(f"风险因素： {执行深度市场分析："instruction" : "分析智能手表市场现状" }) print(f"目标人群： {result . target_audience } ") print(f"风险因素： {")
掌握多模态提示技巧：如何用多模态输入调用AI模型进行图像描述
aGRGWRF的博客
12-14 805
本文介绍了如何使用多模态提示模板来处理图像描述任务。掌握这种技术可以为更复杂的多模态AI应用开发奠定基础。
【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
08-13 1811
在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。
第9章计算机财务管理系统的建立(1).pptx
07-28
第9章计算机财务管理系统的建立(1).pptx
【超声学】超声谐波成像中幅度调制聚焦超声引起的全场位移和应变的分析模型Matlab实现.rar
最新发布
07-28
2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
应用项目管理软件编制工程施工进度计划上机报告(1).doc
07-28
应用项目管理软件编制工程施工进度计划上机报告(1).doc
第5章办公自动化(1).pptx
07-28
第5章办公自动化(1).pptx
langchain pydanticoutputparser 应用在多模态大模型上，如何实现
03-15
### 使用 PydanticOutputParser 实现 LangChain 多模态大模型的具体方法 Pydantic 是一种用于数据验证和设置管理的 Python 库，它通过定义清晰的数据结构来帮助开发者处理复杂的输入/输出需求。在 LangChain 中，`PydanticOutputParser` 提供了一种机制，可以将大型语言模型（LLM）的自由文本输出转换为经过验证的 Pydantic 对象[^1]。 以下是关于 `PydanticOutputParser` 在多模态大模型中的具体实现及其示例： #### 1. 安装依赖库 为了使用 `PydanticOutputParser` 和 LangChain 的功能，需要安装必要的依赖项： ```bash pip install langchain pydantic openai ``` --- #### 2. 创建自定义 Pydantic 数据模型 首先，创建一个基于 Pydantic 的数据模型，该模型描述了 LLM 输出应遵循的结构。例如，在一个多模态场景下，假设我们需要解析图像分类的结果以及对应的置信度分数： ```python from pydantic import BaseModel, Field class ImageClassificationResult(BaseModel): """Image classification result with confidence score.""" class_name: str = Field(description="The predicted class name of the image.") confidence_score: float = Field(ge=0, le=1, description="Confidence score between 0 and 1.") ``` 上述代码定义了一个名为 `ImageClassificationResult` 的 Pydantic 模型，其中包含两个字段：`class_name` 表示预测的类别名称；`confidence_score` 则表示置信度得分，并限定其范围为 [0, 1]。 --- #### 3. 配置 PydanticOutputParser 接下来，配置 `PydanticOutputParser` 来解析 LLM 的输出并将其映射到上面定义的 Pydantic 模型上： ```python from langchain.output_parsers.pydantic import PydanticOutputParser parser = PydanticOutputParser(pydantic_object=ImageClassificationResult) ``` 这里实例化了一个 `PydanticOutputParser`，并将目标 Pydantic 类传递给参数 `pydantic_object`。 --- #### 4. 构建 PromptTemplate 并集成 Parser 为了让 LLM 能够理解预期的输出格式，通常会提供一个提示模板 (Prompt Template)，其中包括有关所需 JSON 结构的信息。下面是一个例子： ```python from langchain.prompts import PromptTemplate prompt_template = f"""You are an AI assistant that helps classify images. Given a raw text output from another model describing what it sees in an image, your task is to extract structured information about the detected object's class and its associated confidence score. Return your response as valid JSON adhering strictly to this schema: {parser.get_format_instructions()} Raw Text Input: {{input}} JSON Output: """ ``` 注意 `{parser.get_format_instructions()}` 这一部分动态插入了由 `PydanticOutputParser` 自动生成的 JSON Schema 描述，从而指导 LLM 正确生成符合期望格式的内容。 随后构建完整的 PromptTemplate： ```python final_prompt = PromptTemplate( template=prompt_template, input_variables=["input"], partial_variables={"format_instructions": parser.get_format_instructions()} ) ``` --- #### 5. 执行推理过程 最后一步是调用实际的大规模预训练模型完成推断操作，并利用之前设定好的 `PydanticOutputParser` 解析返回值： ```python from langchain.llms import OpenAI llm = OpenAI(model_name="text-davinci-003", temperature=0) raw_input_text = "This appears to be a cat sitting on a chair." formatted_prompt = final_prompt.format(input=raw_input_text) model_output = llm(formatted_prompt) parsed_result = parser.parse(model_output) print(parsed_result.json()) ``` 以上脚本展示了如何从一段自然语言描述中提取出图片分类的相关信息，并最终得到如下形式的标准 JSON 字符串作为结果： ```json { "class_name": "cat", "confidence_score": 0.98 } ``` --- ### 总结 借助于 LangChain 的 `PydanticOutputParser` 工具，能够显著简化复杂业务逻辑下的 LLM 输出后处理流程，同时提高程序健壮性和可读性。此外，这种设计模式还具备良好的灵活性，便于未来扩展至更多类型的多模态应用场景之中[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值